Fimmel sinh ra gần Echuca, Victoria. Anh lớn lên trong một nông trại chăn nuôi bò rộng 5.500 mẫu Anh ở Lockington. Là con út trong gia đình có ba anh em, anh là con trai của Jennie, một nhân viên giải trí cho người tàn tật, và Chris, một nông dân nuôi gia súc,[3]. Là một cầu thủ bóng đá, Fimmel chuyển tới Melbourne ở tuổi thiếu niên của mình để chơi bóng đá chuyên nghiệp AFL và thi đấu cho St Kilda Football Club, nhưng bị gãy chân phải ngồi ngoài anh trước khi mùa giải bắt đầu.[4][5] Anh được nhận vào Đại học RMIT để nghiên cứu kiến trúc và kỹ thuật thương mại nhưng sau đó hoãn lại để đi du lịch ở nước ngoài.[6][7]